Enhancing Financial Question Answering: A Novel Benchmark Dataset of Banks' financial statements
增强金融问答:银行财报新基准数据集 FinRAG-QA
🧭 金融财报 RAG 基准与组件增益分析
Intesa Sanpaolo Innovation Center · Università degli Studi di Milano-Bicocca · Politecnico di Torino · IMI CIB, Intesa Sanpaolo · University of Bologna
构建跨机构银行财报问答基准 FinRAG-QA,量化 RAG 各组件贡献,检索与上下文增强将 NDCG@10 从 0.322 提至 0.710
📌 工作参考价值(4 点)
- 长文档、跨实体检索可借鉴「上下文 chunk enrichment + 检索优化 embedding」组合,NDCG@10 从 0.322 提到 0.710,适合商品详情、商户证照、政策文档等长文本 FAQ 检索。
- 生成阶段不要默认堆多 chunk:论文显示单个 top-ranked chunk 比更大上下文更准且延迟更低,可在业务 RAG/Agent 中优先精简上下文并做对比验证。
- 首阶段检索已强时,cross-encoder rerank 可能带来负优化;在已有高质量 embedding 和丰富上下文后,应评估是否保留 rerank,以节省 GPU 与延迟。
- 采用 reasoning-optimised 生成器会带来约 20 倍生成延迟,适合高价值、低实时要求场景;搜索/推荐 Agent 中建议按 query 价值做分级或缓存降级。